Web Survey Bibliography
Due to the fact, that at Universities in general all employees should be familiar with running a computer, it is assumed that an online-based interview among all university lecturers should represent a good alternative to the traditional paper and pencil form particularly with regard to costs terms. However, the effect this specific interview method may produce on the quality of the resulting sample as well as on the quality of the resulting answers was not yet clear. The following results from an employee survey of the University of Bremen shall give an answer to these questions.
Between November 2002 and February 2003 all university lecturers were invited to participate in an interview concerning the actual job situation and job satisfaction at the University. Determined at random, half of the interviewees got a traditional questionnaire whereas the other half was asked to fill in an online questionnaire. Both questionnaires were identical in order to estimate the actual effect of the different interview methods. In consequence this meant, that the questionnaire was elaborated for the traditional method but it was not optimised for the online one.
The results were analysed in two respects: with regard of the random sample and with regard of the content. The rate of return of about 47% already revealed differences due to specific interview methods: The rate of return of the traditional questionnaire was about 50% whereas only 43,4% of the online questionnaires were returned. Both rates are acceptable if one considers, that the binding character of the interview was not more than the simple interest of one employee of the University.
Analysing the two samples with regard of sex and position of the interviewees it appeared, that the rate of return among the women was higher than those of the men. As far as the position was concerned there was an effect of the interview method. The rate of return of traditional questionnaires among professors was higher than those of the online questionnaires. This effect could also be interpreted as an effect due to the age of the interviewees.
The analysis of the content should give answers to three main questions: Are there effects on interview methods concerning the response distribution of the questions? Are there effects on the degree of non-response? Are there specific effects on the answers of free-response questions?
The main result was that both interview types delivered equivalent quality of data. Nevertheless, some characteristics must be kept in mind.
Internetgestützte Befragungen der Lehrenden an Universitäten müssten durch die große Verbreitung der Technik und ihre selbstverständliche Nutzung eine gute Möglichkeit sein, relativ kurzfristig und kostengünstig durchführbar sein. Unklar blieben dabei bisher die Auswirkungen der spezifischen Erhebungsmethode auf die Güte der resultierenden Stichprobe und auf die Güte der resultierenden Antworten. Diesen Fragen wurde im Rahmen einer Mitarbeiterbefragung an der Universität Bremen nachgegangen.
Zwischen November 2002 und Februar 2003 waren alle Lehrenden aufgefordert, an einer Befragung zur Arbeitssituation und Arbeitszufriedenheit an der Universität teilzunehmen. Zufällig differenziert konnte die eine Hälfte der Angesprochenen den Fragebogen schriftlich beantworten, während die andere Hälfte gebeten wurde, den Fragebogen im Internet zu beantworten. Um den tatsächlichen Effekt der Erhebungsmethode zu schätzen war der Fragebogen für beide Varianten konstant gehalten. Das bedeutete in der Konsequenz, dass er zwar für die schriftliche Fassung, nicht aber für die netzgestützte optimiert war.
Analysiert wurden die Ergebnisse in zwei Hinsichten: mit Blick auf die Stichprobe und inhaltlich. Bei einer Gesamtrücklaufquote von fast 47% zeigten sich erhebungsspezifische Unterschiede: für die schriftliche Befragung ist ein Rücklauf von 50% zu berichten; für die netzgestützte Variante von 43,4%. Beide Rückläufe sind vor dem Hintergrund der Verbindlichkeit der Teilnahme, die sich lediglich aus einem Forschungsinteresse einer Universitätsmitarbeiterin speiste als akzeptabel einzuschätzen.
Betrachtet man die beiden Stichproben nach dem Geschlecht und der Position der Befragten zeigt sich darüber hinaus, dass für Frauen in beiden Befragungsformen ein höherer Rücklauf konstatiert werden kann als für Männer und dass es einen Erhebungsformeffekt für die Position gibt. In der schriftlichen Variante haben Professoren einen deutlich höheren Rücklauf als andere Lehrenden, in der Online-Variante kehrt sich dieser Befund um. Dies kann auch als Alterseffekt interpretiert werden.
Bezogen auf die inhaltliche Fragestellung sollen insbesondere drei Fragen beantwortet werden: Gibt es Erhebungsformeffekte auf die Antwortverteilungen der Fragen? Gibt es Auswirkungen auf das Ausmaß fehlender Fälle? Gibt es spezifische Effekte auf die Beantwortung offener Fragen?
Im Ergebnis wird festgestellt werden, dass netzgestützte Lehrendenbefragungen zu einer äquivalenten Datenqualität wie schriftliche Befragungen führen, dass aber gleichzeitig einige Besonderheiten zu beachten sind.
Homepage - conference (abstract)
Web survey bibliography - Germany (361)
- The Video-Enhanced Web Survey Data Quality and Cognitive Processing of Questions; 2009; Fuchs, M.
- Gender-of-Interviewer Effects in a Video-Enhanced Web Survey: Results from a Randomized Field Experiment...; 2009; Fuchs, M.
- Mobility, Flexibility and Identity - How the use of mobile questionnaires improves the data quality...; 2009; Hellwig, O., Wirth, T.
- Evaluating two different mobile survey approaches: personal mobile panel research and ad-hoc mobile...; 2009; Friedrich-Freksa, M., Metzger, G.
- Coverage- und Nonresponse-Effekte bei Online-Bevölkerungsumfragen ; 2009; Bandilla, W., Kaczmirek, L., Blohm, M., Neubarth, W.
- Using the World-Wide Web to obtain large-scale word norms: 190,212 ratings on a set of 2,654 German...; 2009; Lahl, O., Goeritz, A., Pietrowsky, R., Rosenberg, J.
- TitleInternet-basierte Messung sozialer Erwünschtheit: Theoretische Grundlagen und experimentelle Untersuchung...; 2008; Kaufmann, E., Reips, U.-D.
- Sozialforschung im Internet: Methodologie und Praxis der Online-Befragung; 2008; Jackob, N., Schoen, H., Zerback, T. (eds.)
- Does speed in completing an online questionnaire have an influence on its reliability?; 2008; Montag, C., Reuter, M.
- Response Effects in Video-enhanced Web Surveys; 2008; Fuchs, M.
- Using Internet Pages of Organisations as Data Source for Social Science Research; 2008; Baumgarten, B., Grauel, J.
- Representativeness in Online-Surveys Through Stratified Sample; 2008; Blasius, J.
- Individual payments as a longer-term incentive in online panels ; 2008; Goeritz, A., Wolff, H.-G., Goldstein, D. G.
- Communicative Channels, Cognitive Processes and Question Understanding: Results from a Randomized Field...; 2008; Fuchs, M.
- The effects of incentives in internet panels: a review; 2008; Goeritz, A.
- Phone respondents reported less mental health problems whereas mail interviewee gave higher physical...; 2008; Ravens-Sieberer, U., Erhart, M., Wetzel, R., Krügel, A., Brambosch, A.
- Mobile Market Research; 2008; Maxl, E.
- Online vs. Offline in Mobile Surveys; 2008; Neubarth, W., Maier, U.
- Gender-of-Interviewer Effects in Video-Enhanced Web Surveys. Results from a Randomized Field-Experiment...; 2008; Fuchs, M.
- Nicht-reaktive datenerhebung: Teinahmeverhalten bei befragungen mit paradaten evaluieren. [Non reactive...; 2007; Kaczmirek, L., Neubarth, W.
- Using Audio and Video Clips in Web Surveys — Feasibility and Impact on Data Quality; 2007; Fuchs, M., Funke, F.
- Sampling Bias: Face to face to Web; 2007; Bandilla, W., Blohm, M., Kaczmirek, L., Neubarth, W.
- First Experiences with Internet Surveying in the German Socio-Economic Panel; 2007; Wagner, G. G., Schupp, J., Schraepler, J.-P., Siegel, N.
- The anonymous elect. Market research through online access panels; 2006; Postoaca, A.
- Blocked versus randomized format of questionnaires. A confirmatory multigroup analysis; 2006; Sparfeldt, J. R., Schilling, S. R., Rost, D. H., Rost, D. H., Thiel, A.
- Physical or Virtual Presence of the Experimenter: Psychological Online-Experiments in Different Settings...; 2006; Ollesch, H., Heineken, E., Schulte, F. P.
- Cash Lotteries as Incentives in Online Panels; 2006; Goeritz, A.
- Putting a Questionnaire on the Web is not Enough # A Comparison of Online and Offline Surveys Conducted...; 2006; Faas, T., Schoen, H.
- Beyond response rates: Effects of different (Web-) survey implementation procedures on sample composition...; 2006; Bosnjak, M., Marcus, B., Schuetz, A., Lindner, S., Pilischenko, S.
- Controlling the Baseline Speed of Respondents: An Empirical Evaluation of Data Treatment Methods of...; 2005; Mayerl, J.
- Determinanten der Rücklaufquote in Online-Panels; 2005; Batanic, B., Moser, K.
- Standards in Online Surveys. Sources for Professional Codes of Conduct, Ethical Guidelines and Quality...; 2005; Kaczmirek, L., Schulze, N.
- Sampling procedure, questionnaire design, online implementation; 2005; Jackob, N., Arens, J., Zerback, T., Jowell, R., de Rouvray, C.
- When Methodology Interferes With Substance; 2005; Schoen, H., Faas, T.
- The Quality of Ego-Centered Network Data: A comparison of online versus offline data collection; 2005; Snijders, C., Matzat, U.
- Meta-Analyses on Contingent versus Unconditional Incentives; 2005; Goeritz, A.
- Using an access panel as a sampling frame for voluntary household surveys. Experiences from a pilot...; 2004; Korner, T., Nimmergut, A.
- Examining expert reviews as a pretest method; 2004; DeMaio, T., Landreth, A.
- Cooperation and Community on the Internet: Past Issues and Present Perspectives for theoretical-empirical...; 2004; Matzat, U.
- Response and Field Period Effects: The Effect of Time in Online Market Research and Consequences for...; 2004; Basso Larsen, R., Rathod, S.
- Online or Not Online? A Comparison of Offline and Online Surveys Conducted in the Context of 2002 German...; 2004; Faas, T.
- Changing from PAPI to CAPI: A Longitudinal Study Dealing with Mode-Effects in the German Socio-Economic...; 2004; Schraepler, J.-P., Schupp, J., Wagner, G. G
- Paper and pencil or online? Methodological Experiences from an employee survey; 2004; Poetschke, M.
- Survey Administration Effects? A Comparison of Web-Based and Traditional Written Self-Administered Surveys...; 2003; Bandilla, W., Bosnjak, M., Altdorfer, P.
- Bracketing effects in categorized survey questions and the measurement of economic quantities; 2002; Winter, J.
- WeXtor 2.5: Develop, manage, and visualize experimental designs and procedures; 2002; Reips, U.-D., Blumer, T., Neuhaus, C.
- Cognitive processes when answering online questionnaires; 2002; Fuchs, M.
- Online surveys with simple random samples for large populations; 2002; Kreuels, B.
- Sampling problems in research on personal Homepages; 2002; Marcus, B., Machilek, F., Schuetz, A., Kilian, C.
- Social desirable responding and age on the Internet: older participants in online studies show a higher...; 2002; Reips, U.-D., Stoeber, J., Hahn, A.